小米 MIX 折叠屏上的自研澎湃芯片，是手机摄影的未来？

「处理器芯片是手机行业技术的制高点，是金字塔尖的科技，如果想在这个行业里面成为一家伟大的公司，还是要在核心技术上有自主权，公司才能走得远。」

这是在小米宣布进军芯片领域，并发布首款量产芯片「澎湃 S1」时，雷军在发布会上的演讲。

但在澎湃 S1 之后，S2 芯片的难产，小米自研的澎湃芯片逐渐低调，并消失在大众视野中。一直到去年的 8 月份，雷军才透露澎湃芯片还在持续研发。相信这时，小米 MIX FOLD 早已完成试产，并开始量产，内置的「澎湃 C1」芯片亦是如此。

相对于澎湃 S1 和难产的 S2 来说，澎湃 C1 只是一枚 ISP，功能比 SoC 要简答不少，芯片设计也没有那么复杂，比较适合重新起步的「澎湃」。

同时，自研的澎湃 C1 是 MIX FOLD 内部的独立 ISP（图像处理器），也算是目前旗舰机中唯一配备独立 ISP 的产品。

在产品线规划中，MIX FOLD 并非像小米 11 系列这种面向大众的产品，因而澎湃 C1 这枚芯片，或者说手机里的独立 ISP 暂时还没有走向「大众」，仍然是小范围的尝试。

这并不能排除独立 ISP 出现在下一代（下半年？）的小米旗舰上，或可能会引发「蝴蝶效应」，成为国产旗舰们的标配，成为移动影像的一个趋势，这可能吗？

ISP 在成像中扮演着什么样的角色？

简单一句话，ISP 就是负责处理传感器采集的图像。

不论智能手机，还是微单、单反，ISP 所扮演的角色几乎一样，流程也差不多，都是对图像传感器采集的「原始数据」进行拜尔转型、解马赛克、降噪、锐化等操作。但在智能手机这边，ISP 还会包括「计算摄影」的过程，配合不同的算法，不同的调教，最终产出不同的照片。

▲ 索尼 BIONZ X 图像处理器。图片来自：SONY

SoC 配合独立的 ISP 这种配置实则与专业的微单相机相近。以索尼的 BIONZ X 图像处理器为例（α7 系列御用），它包 SoC 和 ISP 芯片，没有封装在一起，优点是索尼可以自行根据 CMOS 的性能需求，而自行增加 ISP 芯片的数量（α7RIII 的 BIONZ X 就配备了双 ISP），缺点就是集成化程度不高。

而 MIX FOLD 之前大多数智能手机的 ISP 都是封装在 SoC 内，并且每年都会跟着 SoC 的升级迭代进行特有的升级。

举个例子，现在高通的旗舰芯片骁龙 888，内置了三枚 ISP 芯片，像素处理能力达到了每秒 27 亿像素，可以同时捕捉三张 2800 万像素的静态照片，或者三条 4K HDR 视频。相对于上代的骁龙 865 有着 35% 的提升。

另一个阵营的联发科，同样在最新的天玑 1200 SoC 中，大幅提升了内置 ISP 的性能，从上代天玑 1000 的 8000 万像素，一口气提升到了支持 2 亿像素的等级，并且还加入了一系列基于 AI 的算法新功能。

ISP 的处理能力，不仅要与传感器性能相匹配，也要能与「计算摄影」的算法相关联，它会直接决定了一款智能手机成像的倾向，颜色浓郁与否、高光保留多少、暗部取舍多少，以及 HDR 算法里保留多少梯度的信息等等。

从这里可以看出，上游的芯片生产商在设计下一代 SoC 时，ISP 性能的提升会是一大方向，这与手机影像的重要性有着莫大的关联。

单单从对高像素传感器驾驭能力来说，目前主流 SoC 内置的 ISP 性能尚有富裕，单次足够处理现在最高的一亿像素的照片。

另外，现在说的超高像素传感器，实则日常多运行在「四合一」、「九合一」模式，折算下来，一张照片其实也就在 2000 万像素，即使算上不同的计算过程，SoC 的 ISP 依旧不会拖「计算摄影」的后腿。

为何要搭载独立 ISP？

既然 SoC 内的 ISP 有着成熟的工艺、成熟的算法、优秀的性能，为何还要搭载独立 ISP 芯片？

对于小米，这颗「小芯片」算是澎湃新的开始，既然现在还不足以推出一枚有着独立水准的 SoC，不如放下包袱，从「小」开始，从 ISP 开始，慢慢积累经验，从长计议，不失是一个好的选择。大胆点说，后续造车也许会用到许多类似 ISP 这类「小芯片」，也算是提前的布局。

前文所说，ISP 不仅仅是去做「计算摄影」，其实主要的作用还是对传感器采集的原始数据进行处理，这处理过程与传统的相机无异。在发布会上，对于澎湃 C1 自研 ISP 的功用，小米提到的优势多集中在 3A 处理上，也就是在对焦（AF）、白平衡算法（AWB）和曝光策略（AE）这三大方面处理的更好。

▲ ISP 处理流程。图片来自：CSDN@brandonyue

其实，针对于传感器采集到的数据，3A 处理不过是其中的「冰山一角」。严格说来，ISP 对原始数据会有十几项的处理，而 3A 处理也可分为「广义」和「狭义」之分。

狭义上来说，也就是小米在发布会上所讲述的内容，而广义上，AF 可以扩展为自动对焦、控制自动对焦马达、自动对焦点的选择，AE 涉及的就更多，自动 ISO、自动 ND 滤镜、自动快门等等，AWB 也会涉及各种色相的偏移情况。

总的来说，最终成像处理的效果，基本上就是 ISP 每一步的策略、取舍不同而造成。

搭载独立 ISP 究其根本还是为了能提升最终的成像效果，近些年小米不断在影像上发力，在 ISP 处理图像上的策略上有所积累。结合独立的 ISP 澎湃 C1，还是想进一步吃透 ISP 在处理原始数据上的流程、策略，也算为后续小米手机继续提升影像力铺路。

以后独立 ISP 会成为「移动影像」的一个趋势吗？

小米 11 Ultra 用上了接近一英寸的大底，倘若后续没有「光学突破」的话，这已几乎是物理极限。而目前的 CMOS 的像素数也处于「军备竞赛」的状态，我们应该很快就看到智能手机迈入两亿像素的门槛。

不断增强影像力，已经是现在智能手机行业内的一大趋势，同时也带来了「同质化」。为了打造不同的影像体验，许多厂商都会投入资源去研发不同的技术，甚至有的还与传统影像厂商合作，提升自己的影像格调。

但在移动影像上，只要物理光学的铁律还在，影响最终成像的其实还是传感器素质、ISP 处理能力以及镜头素质这些传统的方面，其他的只不过是锦上添花罢了。

于是乎，手机厂商们会定制 CMOS（传感器）以求获得更好的成像基础，去在算法上精进，让最终成像更为自然，在镜头搭配上下功夫，求得适应更多的场景。

而独立 ISP，想要跟上述情形类似成为一大趋势，现在来看，为时尚早，准确的说应该是一个未来的「大方向」。

一方面，现在的 SoC 内置的 ISP，并不会拖后腿，也不是移动影像木桶上最短的木板。另一方面，搭载独立 ISP，有着不低的门槛。现在高通、联发科等这些上游芯片厂商还未有针对智能手机的独立 ISP 推出，想要搭载独立 ISP，可能还要依靠自产，目前能够自产芯片的手机厂商并不多。

再者说，现在的独立 ISP 还未展现出应有的优势，用体验过 MIX FOLD 智健的原话，MIX FOLD 的相机并没什么不同。也就说无论是「液态镜头」，还是独立 ISP，更像是为未来的产品布局，积小流成江海。